Balaji Baji Rao sinh ngày 8 tháng 12 năm 1720 ở thành phố Pune, là một người con thứ hai, được sinh ra trong dòng dõi gia đình Bhat, dòng dõi này đã kế vị chức Peshwa trong hai đời. Phụ thân của ông là Peshwa Baji Rao I, một vị tướng lĩnh tài ba trong quân đội Đế quốc Maratha và cũng là một vị Peshwa tiền nhiệm kiệt xuất, còn mẫu thân của ông là bà Kashibai.

Sau cái chết của phụ thân mình là Peshwa Baji Rao vào tháng 4 năm 1740, Chhatrapati Shahuraji Bhonsle đã bổ nhiệm Balaji, lúc đó chỉ mới 19 tuổi làm tân Peshwa cho đế quốc vào tháng 8 năm 1740, bất chấp sự phản đối từ các vị tù trưởng địa phương khác như Raghoji và Bhonsle. Ông đã từng kết hôn với bà Gopikabai. Cặp vợ chồng có ba người con trai gồm: Vishwasrao, Madhavrao Bhat (tức chúa Madhavrao I sau này) và Narayarao Bhat (tức chúa Naraya Rao sau này).[1]